4.1.3 신체와 뇌의 경계: 신경망의 첫 번째 레이어로서의 센서와 액추에이터

1. 서론: 이원론의 붕괴와 물리적 지능의 부상

로봇 공학의 역사에서 오랫동안 지배적이었던 패러다임은 데카르트적 이원론에 뿌리를 둔 ’제어기(Controller)’와 ’플랜트(Plant)’의 엄격한 분리였다. 이 관점에서 로봇의 신체는 뇌가 내리는 명령을 수동적으로 이행하는 기계적 장치에 불과했으며, 센서는 외부 세계의 정보를 디지털 신호로 변환하여 중앙 처리 장치로 전송하는 수동적인 파이프라인으로 간주되었다. 그러나 이러한 중앙집중식 처리 방식은 현대의 고차원적이고 동적인 환경에서 한계에 봉착했다. 데이터의 폭발적인 증가는 통신 대역폭의 병목 현상을 초래했고, 연산의 지연(Latency)은 실시간 제어의 안정성을 위협했다. 무엇보다, 생물학적 시스템이 보여주는 우아한 효율성과 강건함은 뇌뿐만 아니라 신체 말단의 감각 기관과 근육 자체가 정보 처리의 주체로 기능한다는 사실에서 기인함이 밝혀지고 있다.1

Embodied AI(체화된 인공지능)의 발전은 하드웨어와 소프트웨어, 신체와 뇌의 경계를 허물고 있다. 이제 센서와 액추에이터는 더 이상 주변 장치(Peripheral)가 아니다. 그들은 정보 처리 파이프라인의 물리적 연장선이자, 인공 신경망(Artificial Neural Network)의 실질적인 첫 번째 레이어(Input Layer)와 마지막 레이어(Output Layer)로 재정의된다. 본 장에서는 센서 내부에서 수행되는 인센서 컴퓨팅(In-Sensor Computing), 신체의 물리적 역학을 계산 자원으로 활용하는 물리적 저장소 연산(Physical Reservoir Computing), 그리고 이들을 통합하는 미분 가능한 물리학(Differentiable Physics) 시뮬레이션 기술을 통해, 로봇의 신체가 어떻게 지능의 일부로 통합되고 있는지를 심층적으로 분석한다.

우리는 ’하드웨어 복권(Hardware Lottery)’이라는 용어를 통해 AI 연구가 범용 하드웨어(GPU/TPU)의 발전에 종속되어 왔음을 비판적으로 인식하고 있다. 그러나 로봇 공학에서 하드웨어는 소프트웨어의 단순한 그릇이 아니다. 하드웨어(신체)와 소프트웨어(뇌)는 공진화(Co-Evolution)해야 하며, 그 접점에 있는 센서와 액추에이터는 정보 처리의 최전선이다. 본고는 이러한 관점에서 최신 SOTA(State-of-the-Art) 기술들을 망라하며, 물리적 계층이 어떻게 신경망의 학습 가능한 파라미터로 변모하고 있는지 논증한다.

2. 센서: 신경망의 확장된 입력 레이어와 인센서 컴퓨팅(In-Sensor Computing)

전통적인 폰 노이만(Von Neumann) 아키텍처는 센싱 데이터가 메모리로 이동하고, 다시 프로세서로 이동하여 처리되는 과정에서 막대한 에너지와 시간을 소모한다. 이를 극복하기 위해 데이터가 생성되는 지점, 즉 센서 내부에서 연산을 수행하는 인센서 컴퓨팅(In-Sensor Computing)이 차세대 로봇 지능의 핵심 기술로 부상하고 있다. 이는 센서 자체가 신경망의 첫 번째 은닉층(Hidden Layer) 역할을 수행하여, 데이터 전송 대역폭을 줄이고 추론 속도를 비약적으로 향상시킨다.3

2.1 이벤트 기반 비전(Event-based Vision): 망막을 모사한 물리적 전처리

이벤트 카메라(Event Camera) 또는 뉴로모픽 비전 센서(Neuromorphic Vision Sensor)는 생물학적 망막의 작동 원리를 공학적으로 구현하여, 시각 정보를 처리하는 패러다임을 근본적으로 변화시켰다. 기존의 프레임 기반 카메라(Frame-based Camera)는 셔터를 통해 전체 픽셀의 절대적인 밝기 값을 동기적으로 캡처한다. 이는 정지해 있는 배경이나 변화가 없는 영역의 데이터까지 매 프레임마다 중복해서 전송하므로, 대역폭 낭비와 연산 과부하를 초래한다.

반면, 이벤트 카메라는 각 픽셀이 독립적인 신경 세포처럼 작동한다. 각 픽셀은 밝기의 로그(Logarithmic) 변화량이 특정 임계값을 초과할 때만 비동기적으로 ‘이벤트(Event)’ 신호를 생성한다.4

2.1.1 시간적 중복 제거와 데이터의 희소성

이벤트 카메라의 작동 방식은 데이터의 희소성(Sparsity)을 극대화한다. 정적인 배경은 데이터로 전송되지 않으며, 움직임이 있는 객체의 엣지(Edge) 정보만이 마이크로초(\mu s) 단위의 시간 해상도로 기록된다. 이는 신경망 입력단의 관점에서 볼 때, ’배경 제거(Background Subtraction)’와 ’움직임 검출(Motion Detection)’이라는 전처리(Preprocessing) 연산이 센서의 물리적 소자 레벨에서 아날로그적으로 수행된 것과 동일하다.

이러한 희소한 데이터 스트림은 정보 엔트로피가 높은 부분만을 선별적으로 전달하므로, 후속 신경망은 불필요한 0값(Zero-value) 연산을 수행할 필요가 없다. 이는 심층 신경망의 활성화 함수(Activation Function)인 ReLU(Rectified Linear Unit)를 통과한 이후의 희소 텐서(Sparse Tensor)와 유사한 형태를 띠며, 따라서 이벤트 카메라는 물리적 세계와 디지털 신경망 사이의 임피던스 불일치를 해결하는 가교 역할을 한다.

2.1.2 스파이킹 신경망(SNN)과의 결합: 완전한 뉴로모픽 파이프라인

이벤트 카메라가 생성하는 비동기적 스파이크(Spike) 스트림은 스파이킹 신경망(Spiking Neural Network, SNN)의 입력으로 사용되기에 가장 이상적인 형태이다. SNN은 뇌의 뉴런이 활동 전위(Action Potential)를 통해 정보를 전달하는 방식을 모사한 것으로, 입력 신호가 있을 때만 연산이 수행되는 이벤트 구동(Event-driven) 특성을 가진다.

최근 연구에서는 이벤트 카메라와 SNN을 단일 칩 또는 엣지 디바이스 상에서 통합하여 초저전력, 저지연 제어 시스템을 구현하는 사례가 증가하고 있다. 예를 들어, 드론의 고속 비행 제어에서 이벤트 카메라는 회전하는 프로펠러나 빠르게 지나가는 장애물을 모션 블러(Motion Blur) 없이 포착하고, SNN은 이를 즉각적으로 처리하여 모터 제어 신호를 생성한다.6

이는 시각 정보가 V1 시각 피질을 거쳐 운동 피질로 전달되는 생물학적 경로를 하드웨어적으로 구현한 셈이다. 기존의 합성곱 신경망(CNN)이 이미지를 정적인 행렬로 처리한다면, 이벤트 기반 SNN은 시각 정보를 시공간적인(Spatiotemporal) 흐름으로 처리한다. 연구 결과에 따르면, 이러한 시스템은 기존 ANN 기반 모델 대비 88.3%의 에너지 절감을 달성하면서도 고속 파쿠르와 같은 역동적인 작업을 수행할 수 있음이 증명되었다.8

2.1.3 산업계의 하드웨어 구현: Sony와 Prophesee

산업계에서는 이러한 인센서 컴퓨팅의 개념을 상용화하여 로봇 및 IoT 기기에 적용하고 있다. Sony의 IMX500 센서는 픽셀 어레이 하단에 로직 칩을 적층(Stacking)하여, 이미지 캡처와 AI 추론을 하나의 패키지 내에서 수행한다.9 이는 센서가 단순한 ’눈’이 아니라, 기초적인 시각 지능을 갖춘 ’뇌의 일부’로 진화했음을 의미한다.

IMX500은 픽셀에서 획득한 데이터를 별도의 메모리나 프로세서로 전송하지 않고, 센서 내부의 DSP(Digital Signal Processor)와 AI 엔진을 통해 즉각적으로 객체 인식이나 분류 작업을 수행할 수 있다. 이는 데이터 전송에 소모되는 에너지를 획기적으로 줄이고, 개인정보 보호(Privacy) 문제를 해결하며, 로봇의 반응 속도를 높이는 데 기여한다. Prophesee의 Metavision 센서 역시 각 픽셀이 독립적인 뉴런처럼 작동하여, 산업 자동화나 자율 주행 차량에서 필요한 고속 모션 감지 기능을 엣지단에서 수행한다.11 이러한 센서들은 단순한 데이터 수집기를 넘어, 신경망의 첫 번째 레이어로서 입력 데이터의 차원을 축소하고 특징을 추출하는 연산적 기능을 담당한다.

2.2 뉴로모픽 촉각 센서(Neuromorphic Tactile Skin): 피부에서 뇌로 이어지는 스파이크

시각뿐만 아니라 촉각 센서 역시 뉴로모픽 원리를 도입하여 신경망의 입력 레이어로 진화하고 있다. 인간의 피부는 지속적인 압력보다는 접촉의 시작과 끝, 진동, 미끄러짐과 같은 ’변화’에 민감하게 반응한다. 이를 모사한 뉴로모픽 촉각 센서(Neuromorphic Tactile Sensor)는 압력의 변화를 스파이크 신호로 변환하여 전송한다.13

2.2.1 기계적 수용기(Mechanoreceptor)의 기능적 모사

기존의 저항성 또는 정전용량 방식의 촉각 센서는 아날로그 전압 값을 디지털로 변환(ADC)하여 주기적으로 전송하는 방식을 사용했다. 이는 데이터 전송량이 많고, 빠른 진동이나 텍스처(Texture)의 미세한 변화를 놓칠 우려가 있다. 반면, 뉴로모픽 촉각 센서는 인간의 기계적 수용기(Mechanoreceptor) 중 FA(Fast Adapting) 수용체의 특성을 모사하여, 자극의 변화율에 비례하는 스파이크 트레인을 생성한다.

이러한 센서 데이터는 SNN을 통해 처리될 때 질감 분류(Texture Classification)나 미끄러짐 감지(Slip Detection)와 같은 작업에서 탁월한 성능을 발휘한다.14 예를 들어, 로봇 손이 물체를 쥐고 있을 때 미세한 미끄러짐이 발생하면, 센서는 고주파수의 스파이크를 발생시키고, 이는 SNN의 반사(Reflex) 회로를 트리거하여 즉각적으로 파지력을 높이도록 제어할 수 있다. 여기서 센서와 국소 신경망 회로는 상위 제어기(뇌)의 개입 없이도 척수 반사(Spinal Reflex)와 유사한 기능을 수행한다. 이는 제어 루프의 지연 시간을 최소화하고, 시스템의 안전성을 높이는 데 결정적인 역할을 한다.

2.2.2 전자 피부(E-Skin)와 로컬 학습

최근의 전자 피부(E-skin) 연구는 센서 어레이 자체에 유기물 전기화학 트랜지스터(OECT)나 멤리스터(Memristor)와 같은 소자를 통합하여, 센싱과 동시에 시냅스 가중치 업데이트와 같은 학습 기능을 수행하도록 발전하고 있다.15 이러한 ’지능형 피부’는 반복적인 접촉 자극을 통해 스스로 감도를 조절하거나, 통증과 같은 유해 자극을 필터링하는 기능을 수행할 수 있다.

유기물 기반의 인공 시냅스 소자는 유연성과 생체 적합성이 뛰어나, 로봇의 곡면이나 소프트 로봇의 표면에 부착하기 용이하다. 이는 센서가 단순한 입력 장치를 넘어, 분산된 신경망의 일부로서 로컬 연산과 기억(Memory) 기능을 수행함을 보여준다. 예를 들어, 로봇이 특정 물체를 반복적으로 잡을 때, 손가락 끝의 전자 피부는 해당 물체의 형상이나 강도에 대한 정보를 로컬 시냅스 가중치에 저장하여, 다음 파지 시 더 효율적인 제어를 가능하게 한다.17 이처럼 센서 자체가 학습 능력을 가짐으로써, 중앙 처리 장치의 부하를 줄이고 로봇의 전체적인 지능을 분산시키는 효과를 가져온다.

2.3 다중 모드 융합과 센서 퓨전의 물리적 통합

인센서 컴퓨팅의 발전은 단일 모달리티를 넘어 다중 센서 융합(Sensor Fusion)의 영역으로 확장되고 있다. 예를 들어, 삼성전자의 ISOCELL Vizion 63D와 같은 최신 ToF(Time-of-Flight) 센서는 심도 정보 처리를 위한 ISP를 내장하여, 3D 공간 정보를 칩 내에서 완성된 형태로 출력한다.18 이는 메인 프로세서가 원시 데이터(Raw Data)로부터 깊이 지도를 계산해야 하는 부담을 제거한다.

나아가 시각 정보와 촉각, 청각 정보가 센서 레벨에서 융합되는 뉴로모픽 칩 연구도 진행 중이다.19 시각 센서에서 감지된 물체의 접근 정보가 촉각 센서의 감도를 미리 높여놓는 식의 상호작용이 엣지단에서 이루어질 수 있다. 이는 생물학적 감각 기관들이 서로 독립적이지 않고, 신경계 내에서 긴밀하게 통합되어 작동하는 원리를 반영한 것이다. 이러한 물리적 통합은 로봇이 복잡한 환경에서 더욱 빠르고 정확하게 상황을 인식하고 대처할 수 있게 한다.

3. 액추에이터: 물리적 저장소 연산(Physical Reservoir Computing)과 기계적 지능

센서가 신경망의 입력 레이어라면, 액추에이터와 로봇의 신체는 신경망의 은닉층(Reservoir)이자 출력 레이어이다. 물리적 저장소 연산(Physical Reservoir Computing, PRC)은 신체의 비선형 동역학(Nonlinear Dynamics)을 계산 자원으로 활용하여, 복잡한 제어 문제를 해결하는 혁신적인 접근 방식이다.1

3.1 신체를 이용한 계산 (Computing with the Body)

전통적인 저수지 연산(Reservoir Computing, RC)에서는 고차원의 비선형 동역학을 가진 순환 신경망(RNN)을 ’저수지(Reservoir)’로 사용하고, 입력 신호를 이 저수지에 투영하여 고차원 특징으로 변환한 뒤, 선형 판독기(Readout)만을 학습시켜 원하는 출력을 얻는다. 이 방식은 RNN의 복잡한 내부 가중치를 학습시키는 대신, 고정된(Fixed) 동역학을 활용하므로 학습 비용이 매우 낮다는 장점이 있다. PRC는 이 ’저수지’를 소프트웨어상의 신경망이 아닌, 로봇의 유연한 신체나 동적 시스템으로 대체한다.

3.1.1 소프트 로봇의 비선형 동역학 활용

소프트 로봇(Soft Robot)은 실리콘, 고무, 유체 등의 유연한 소재로 만들어져 무한한 자유도와 복잡한 비선형성을 가진다. 이는 전통적인 강체 역학 기반 제어 관점에서는 모델링하기 어려운 난해한 요소이지만, PRC 관점에서는 훌륭한 계산 자원이다. 예를 들어, 문어의 다리를 모사한 소프트 매니퓰레이터는 외부 자극이나 구동 신호에 대해 복잡한 파동 형태로 반응하며, 이 반응 자체가 입력 신호에 대한 고차원 변환 결과를 포함한다.20

연구에 따르면, 소프트 로봇의 신체 동역학을 이용해 타이머, 패리티 체크, 비선형 함수 근사 등의 연산을 수행할 수 있음이 증명되었다. 이는 로봇이 복잡한 디지털 제어기 없이도, 신체의 물성만으로도 환경에 적응적인 움직임을 생성할 수 있음을 의미한다. 텐세그리티(Tensegrity) 구조를 가진 로봇은 다중 안정성(Multistability)을 가지며, 초기 조건에 따라 서로 다른 끌개(Attractor)로 수렴하는 특성을 이용해 다양한 보행 패턴을 생성하거나 저장할 수 있다.21 여기서 ’끌개’는 로봇의 신체 구조에 내재된 ’기억’이나 ’기술(Skill)’에 해당하며, 제어기는 단지 시스템을 특정 끌개로 유도하는 역할만 수행하면 된다.

3.1.2 유체 역학을 이용한 수중 로봇의 PRC

수중 로봇의 경우, 로봇 주변의 유체 흐름(Fluid Dynamics) 자체가 거대한 저수지 역할을 할 수 있다. 로봇이 꼬리를 흔들 때 발생하는 와류(Vortex)와 유체-구조 상호작용(Fluid-Structure Interaction, FSI)은 매우 복잡한 비선형 시스템이다. 이를 이용하면 로봇은 센서 데이터와 자신의 움직임 이력(History)을 유체의 상태에 ’기록’하고, 이를 다시 읽어들여(Readout) 다음 동작을 결정할 수 있다.23

이는 물고기가 측선(Lateral Line)을 통해 물살을 느끼고, 복잡한 난류 속에서도 최소한의 에너지로 수영하는 원리와 유사하다. 연구자들은 로봇의 유연한 꼬리가 생성하는 와류 패턴을 감지하여, 이를 피드백 제어에 활용함으로써 디지털 연산 부하를 획기적으로 줄일 수 있음을 보였다. 이 경우, 유체라는 환경 자체가 신경망의 순환 연결(Recurrent Connection) 역할을 수행하는 셈이다.

3.2 직렬 탄성 액추에이터(SEA): 기계적 필터로서의 역할

직렬 탄성 액추에이터(Series Elastic Actuator, SEA)는 모터와 부하 사이에 스프링과 같은 탄성체를 직렬로 연결한 구조이다. 이 탄성체는 단순한 충격 흡수 장치가 아니라, 제어 루프 내에서 중요한 연산 기능을 수행하는 하드웨어적 구성 요소이다.26

3.2.1 로우 패스 필터링과 에너지 저장

신호 처리 관점에서 SEA의 스프링은 고주파 충격이나 진동을 걸러내는 로우 패스 필터(Low-pass Filter) 역할을 한다. 이는 디지털 제어기가 수행해야 할 노이즈 제거 작업을 물리적으로 수행하여, 제어기의 대역폭 요구사항을 낮춘다. 또한, 스프링은 에너지를 일시적으로 저장했다가 방출하는 기능을 통해, 순간적인 큰 힘(Power burst)이 필요한 동작(예: 점프, 던지기)을 가능하게 한다.

SEA는 또한 힘 제어(Force Control)를 위치 제어(Position Control) 문제로 변환시켜 주는 ‘변환기’ 역할을 한다. 스프링의 변위를 측정하면 훅의 법칙(F=kx)에 의해 힘을 추정할 수 있으므로, 고가의 힘 센서 없이도 정밀한 힘 제어가 가능해진다.28 이는 액추에이터 하드웨어가 제어 알고리즘의 일부 기능을 대체(Offloading)하는 전형적인 형태학적 연산의 사례이다. 신경망 관점에서 보면, 이는 출력 레이어에 물리적인 바이어스(Bias)와 활성화 함수를 추가하여, 네트워크가 학습해야 할 매핑의 복잡도를 낮추는 효과와 같다.

3.2.2 임피던스 제어와 안전성

인간-로봇 상호작용(HRI)에서 SEA는 본질적인 유연성(Compliance)을 제공하여 충돌 시 안전성을 보장한다. 이는 소프트웨어적으로 임피던스 제어를 구현하는 것보다 훨씬 반응 속도가 빠르고 신뢰성이 높다. 액추에이터의 기계적 특성이 제어 루프의 안정성을 보장하는 ’하드웨어적 안전장치’이자, 외란에 대해 즉각적으로 반응하는 ‘반사 신경’ 역할을 하는 것이다.

최근의 연구는 가변 강성 액추에이터(Variable Stiffness Actuator)를 통해 이 탄성 계수(k)를 실시간으로 조절하는 기술로 발전하고 있다. 이는 신경망의 가중치(Weight)를 동적으로 조절하는 것과 유사하며, 로봇이 상황에 따라 부드럽게 움직이거나 단단하게 힘을 쓰는 적응형 행동을 가능하게 한다.

3.3 물리적 신경망(Physical Neural Networks)으로의 확장

최근에는 액추에이터를 넘어, 전기 회로, 광학 소자, 유체 채널 등을 이용하여 물리적 시스템 자체를 학습 가능한 신경망으로 구성하는 ‘물리적 신경망(Physical Neural Networks, PNN)’ 연구가 활발하다.30 예를 들어, 비선형 저항 성분을 가진 멤리스터 어레이나, 유체 압력에 따라 저항이 변하는 유체 회로망은 그 자체로 거대한 행렬 곱셈 연산기나 비선형 함수 발생기가 될 수 있다.

이러한 PNN은 로봇의 몸체 곳곳에 분산되어, 센서 신호를 1차적으로 처리하거나 반사적인 움직임을 생성하는 로컬 브레인(Local Brain) 역할을 수행할 수 있다. 이는 로봇이 중앙 컴퓨터의 고장이나 통신 두절 상황에서도 기본적인 생존 본능(예: 넘어짐 방지, 충돌 회피)을 유지할 수 있게 하는 중요한 기술이다.

4. 미분 가능한 물리학(Differentiable Physics): 시뮬레이션과 신경망의 통합

센서와 액추에이터가 물리적인 층에서 연산을 수행한다면, 이를 제어하는 AI 모델은 이 물리적 특성을 어떻게 학습해야 하는가? 기존의 강화학습(RL)은 물리 시뮬레이터를 ’블랙박스’로 취급하여, 행동을 입력하고 상태를 관측하는 시행착오(Trial-and-Error) 방식을 사용했다. 그러나 이 방식은 샘플 효율성이 매우 낮고, 하드웨어의 미세한 물리적 특성을 정확히 반영하기 어렵다.

이에 대한 해답으로 ’미분 가능한 물리학(Differentiable Physics)’이 대두되고 있다. 이는 물리 엔진 자체를 미분 가능한 연산 그래프(Computational Graph)로 구현하여, 로봇의 신체 물성(질량, 마찰, 탄성 등)과 제어 정책(Policy)을 동시에 경사 하강법(Gradient Descent)으로 최적화할 수 있게 한다.

4.1 엔드-투-엔드(End-to-End) 학습 파이프라인의 확장

미분 가능한 물리 엔진(예: Brax, DiffTaichi, Dojo)은 시뮬레이션의 모든 단계를 미분 가능하게 만들어, 결과(손실 함수)로부터 입력(제어 신호 또는 하드웨어 파라미터)까지 오차 역전파(Backpropagation)가 가능하게 한다.32 이 패러다임에서 로봇의 신체는 신경망의 고정된 레이어가 아니라, 학습 가능한 레이어가 된다.

즉, 시스템의 전체 손실 함수 J는 다음과 같이 표현될 수 있다:
J = \mathcal{L}(\text{Sensor}(\text{Body}(\text{Actuator}(\text{Policy}(\text{Input})))))
여기서 Body, Sensor, Actuator가 모두 미분 가능한 함수로 표현된다면, 체인 룰(Chain Rule)을 적용하여 손실 함수에 대한 하드웨어 파라미터 \theta_{hw}의 기울기 \nabla_{\theta_{hw}} J를 계산할 수 있다.

따라서 AI는 단순히 주어진 하드웨어에 맞춰 제어기를 학습하는 것을 넘어, 제어 목적을 달성하기 위해 하드웨어의 설계 변수(예: 다리 길이, 스프링 강성, 센서 위치, 모터 용량)를 어떻게 변경해야 하는지까지 학습할 수 있다.35 이는 하드웨어와 소프트웨어의 동시 최적화(Co-Design Optimization)를 수학적으로 엄밀하게 수행할 수 있는 기반을 제공한다.

4.2 시스템 식별(System Identification)과 적응 제어

미분 가능한 물리학은 ‘시스템 식별’ 과정을 신경망 학습 과정과 통합한다. 로봇이 실제 환경에서 수집한 센서 데이터를 바탕으로 시뮬레이션 모델의 파라미터를 실시간으로 업데이트(Fine-tuning)할 수 있다.37 이는 고전 제어 이론에서의 적응 제어(Adaptive Control)와 유사하지만, 훨씬 더 복잡하고 고차원적인 비선형 시스템(예: 유체 속의 소프트 로봇)에 대해서도 적용 가능하다.

예를 들어, 로봇이 미지의 지형을 걸을 때 발바닥의 촉각 센서 데이터와 관성 측정 장치(IMU) 데이터를 이용하여 지면의 마찰 계수나 경도를 추정하고, 이를 즉각적으로 시뮬레이션 모델에 반영하여 제어 정책을 수정하는 것이 가능하다. 이때 센서와 액추에이터의 물리적 특성(노이즈 모델, 반응 속도 등) 역시 미분 가능한 모델의 일부로 포함되어야 정확한 전신 제어(Whole-Body Control)가 가능하다.

더 나아가, 미분 가능한 시뮬레이션은 ‘Sim-to-Real’ 문제를 해결하는 핵심 열쇠가 된다. 실제 로봇과 시뮬레이션 모델 간의 차이(Reality Gap)를 신경망으로 모델링하고, 이 오차를 최소화하는 방향으로 물리 엔진의 파라미터를 조정함으로써, 시뮬레이션에서 학습된 정책이 실제 로봇에서도 강건하게 작동하도록 보장할 수 있다.

5. 결론: 하드웨어 복권(Hardware Lottery)을 넘어서는 공진화

’하드웨어 복권(The Hardware Lottery)’이라는 용어는 AI 연구가 범용 하드웨어(GPU/TPU)의 발전에 종속되어 왔음을 비판적으로 지적한다. 그러나 로봇 공학, 특히 Embodied AI 분야에서는 하드웨어가 소프트웨어의 단순한 그릇이 아니다. 하드웨어(신체)와 소프트웨어(뇌)는 공진화(Co-Evolution)해야 하며, 그 접점에 있는 센서와 액추에이터는 정보 처리의 최전선이자 지능의 필수적인 구성 요소이다.

본 4.1.3절의 분석을 통해 우리는 다음과 같은 결론에 도달한다.

1. 센서는 더 이상 수동적이지 않다. 이벤트 카메라와 뉴로모픽 센서는 물리적 자극을 정보적으로 유의미한 희소 신호로 변환하는 ’연산 장치’이자 신경망의 입력 레이어이다. 인센서 컴퓨팅은 데이터의 홍수 속에서 필요한 정보만을 추출하여 뇌의 부하를 줄인다.
2. 액추에이터는 기계적 지능의 원천이다. 물리적 저장소 연산(PRC)과 직렬 탄성 액추에이터(SEA)는 신체의 물성을 이용해 제어 연산을 분담하고, 시스템의 안정성과 효율성을 높인다. 신체는 그 자체로 계산을 수행하는 컴퓨터이다.
3. 물리적 계층은 학습 가능하다. 미분 가능한 물리학을 통해 로봇의 신체 파라미터는 신경망의 가중치처럼 최적화될 수 있는 대상이 되었다. 이는 설계와 제어의 경계를 허물고, 환경에 최적화된 로봇의 탄생을 예고한다.

결국, 신체와 뇌의 경계는 고정된 해부학적 위치가 아니라, 정보 처리가 일어나는 기능적 연속성 위에 존재한다. 차세대 로봇 지능은 뇌에만 갇혀 있는 것이 아니라, 손가락 끝의 센서, 관절의 스프링, 그리고 피부의 회로 속에 분산되어 ’체화(Embodied)’될 것이다. 로봇은 단순히 계산하는 기계가 아니라, 물리적 세계와 상호작용하며 생각하는 존재로 거듭나기 위해, 센서와 액추에이터를 자신의 신경망 안으로 깊숙이 받아들이고 있다. 이것이 바로 Embodied AI가 지향하는 진정한 의미의 통합이다.

6. 참고 자료

1. How Morphological Computation Shapes Integrated Information in …, https://pmc.ncbi.nlm.nih.gov/articles/PMC8666602/
2. What Is Morphological Computation? On How the Body Contributes …, https://direct.mit.edu/artl/article/23/1/1/2858/What-Is-Morphological-Computation-On-How-the-Body
3. In-Sensor & Neuromorphic Computing Are all You Need for Energy …, https://www.researchgate.net/publication/371287157_In-Sensor_Neuromorphic_Computing_Are_all_You_Need_for_Energy_Efficient_Computer_Vision
4. A neuromorphic event data interpretation approach with hardware …, https://www.frontiersin.org/journals/neuroscience/articles/10.3389/fnins.2024.1467935/full
5. Hardware, Algorithms, and Applications of the Neuromorphic Vision …, https://pmc.ncbi.nlm.nih.gov/articles/PMC12526923/
6. Efficient Neuromorphic Computing with Dynamic Vision Sensor …, https://www.edge-ai-vision.com/wp-content/uploads/2023/09/T1T05_Seo_ASU_2023.pdf
7. Event-driven Vision and Control for UAVs on a Neuromorphic Chip, https://rpg.ifi.uzh.ch/docs/ICRA21_Vitale.pdf
8. Advanced Robot Parkour with Bio-inspired Event Camera … - arXiv, https://arxiv.org/pdf/2503.09985
9. Empowering Edge AI - Sony IMX500 + YOLO - Ultralytics, https://www.ultralytics.com/blog/empowering-edge-ai-with-sony-imx500-and-aitrios
10. ISOCELL Vizion 63D | ToF Sensor | Samsung Semiconductor Global, https://semiconductor.samsung.com/image-sensor/tof-sensor/isocell-vizion-63d/
11. IEEE Spectrum Features Prophesee’s Event-Based Vision Tech, https://www.prophesee.ai/2025/12/02/event-sensors-bring-just-the-right-data-to-device-makers/
12. PROPHESEE | Metavision Technologies, https://www.prophesee.ai/
13. A toolbox for neuromorphic perception in robotics | Request PDF, https://www.researchgate.net/publication/362942227_A_toolbox_for_neuromorphic_perception_in_robotics
14. (PDF) Simultaneous Velocity and Texture Classification from a …, https://www.researchgate.net/publication/381137265_Simultaneous_Velocity_and_Texture_Classification_from_a_Neuromorphic_Tactile_Sensor_Using_Spiking_Neural_Networks
15. Organic Artificial Nerves: Neuromorphic Robotics and Bioelectronics, https://www.researchgate.net/publication/389212671_Organic_Artificial_Nerves_Neuromorphic_Robotics_and_Bioelectronics
16. Flexible Electrolyte-Based Devices for Neuromorphic Electronics, https://www.researchgate.net/publication/376019028_Flexible_Electrolyte-based_Devices_for_Neuromorphic_Electronics
17. See to Touch: Learning Tactile Dexterity through Visual Incentives, https://www.researchgate.net/publication/382990539_See_to_Touch_Learning_Tactile_Dexterity_through_Visual_Incentives
18. Samsung Unveils Two New ISOCELL Vizion Sensors Tailored for …, https://news.samsungsemiconductor.com/global/samsung-unveils-two-new-isocell-vizion-sensors-tailored-for-robotics-and-xr-applications/
19. Human skin-inspired neuromorphic sensors - OAE Publishing Inc., https://www.oaepublish.com/articles/ss.2024.77
20. Pneumatic Reservoir Computing for Sensing Soft Body, https://sensors.myu-group.co.jp/sm_pdf/SM2657.pdf
21. Multifunctional physical reservoir computing in soft tensegrity robots, https://arxiv.org/html/2507.21496v1
22. Embodying Physical Computing into Soft Robots - arXiv, https://arxiv.org/html/2510.24692v1
23. Classical and Quantum Physical Reservoir Computing for Onboard …, https://www.mdpi.com/2673-8716/4/3/33
24. Physical reservoir computing in a soft swimming robot, https://direct.mit.edu/isal/proceedings-pdf/isal2021/33/92/1929987/isal_a_00426.pdf
25. Physical Reservoir Computing on a Robotic Swimmer With Soft …, https://asmedigitalcollection.asme.org/SMASIS/proceedings/SMASIS2025/89275/V001T08A001/1228269
26. Development, Analysis, and Control of Series Elastic Actuator …, https://www.frontiersin.org/journals/neurorobotics/articles/10.3389/fnbot.2019.00017/full
27. Generalization of Series Elastic Actuator Configurations and … - MDPI, https://www.mdpi.com/2076-0825/6/3/26
28. Modeling and Application of Series Elastic Actuators for Force …, https://arxiv.org/pdf/0912.3956
29. (PDF) Seven Benefits of Using Series Elastic Actuators in the Design …, https://www.researchgate.net/publication/385272943_Seven_Benefits_of_Using_Series_Elastic_Actuators_in_the_Design_of_an_Affordable_Simple_Controlled_and_Functional_Prosthetic_Hand
30. Multistable Physical Neural Networks - Gat Research Group, https://gat.net.technion.ac.il/files/2025/06/Advanced-Intelligent-Systems-2025-Eran-Multistable-Physical-Neural-Networks.pdf
31. Low-Power Analog Circuit-Based Physical Neural Networks for …, https://www.researchgate.net/publication/397420233_Low-Power_Analog_Circuit-Based_Physical_Neural_Networks_for_Motor_Fault_Diagnosis
32. End-to-End Differentiable Physics for Learning and Control, https://dspace.mit.edu/bitstream/handle/1721.1/126615/7948-end-to-end-differentiable-physics-for-learning-and-control.pdf?sequence=2&isAllowed=y
33. A Differentiable Physics Engine for Large Scale Rigid Body Simulation, https://datasets-benchmarks-proceedings.neurips.cc/paper/2021/file/d1f491a404d6854880943e5c3cd9ca25-Paper-round1.pdf
34. Highly-Efficient Differentiable Simulation for Robotics - arXiv, https://arxiv.org/html/2409.07107v2
35. Evolving Embodied Intelligenc | Pangram Labs, https://www.pangram.com/history/cd49f1b3-fba4-4425-8649-ec717470152e
36. A Differentiable Physical Simulation Framework for Soft Robots on…, https://openreview.net/forum?id=pUKJWr5zOE
37. Pontryagin Differentiable Programming: An End-to-End Learning …, https://scispace.com/pdf/pontryagin-differentiable-programming-an-end-to-end-learning-1utf9zbx36.pdf
38. End-to-End Differentiable Physics Temperature Estimation for …, https://www.mdpi.com/2032-6653/15/4/174